OKW thành lập ngày 4 tháng 2 năm 1938 sau sự kiện Blomberg-Fritsch. Thống chế Werner von Blomberg bị tước quyền và Bộ chiến tranh Đế quốc Đức bị hủy bỏ. OKW thay thế Bộ chiến tranh. Sự thành lập OKW được xem như một trong những mưu tính của Adolf Hitler trong kế hoạch tạo dựng vây cánh và bành trướng quyền lực của mình. Hitler lên chức Lãnh tụ (Führer) và đảm nhận luôn chức Thủ tướng Quốc gia (Reich Chancellor). Bộ Tư lệnh cũ của quân lực Đức dần dần đều bị thay thế.